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В данной работе предложено решение задачи выделения и отслеживания объектов в видеоряде с 
неподвижным фоном на основе анализа движения в кадре и представления изображения и объектов 
как множества структурных элементов. Описание объектов имеет двухуровневую иерархию, что 
позволяет гибко адаптировать его при изменении объекта. Аддитивное описание объекта в виде 
множества структурных элементов позволяет осуществлять трекинг в условиях частичного 
перекрытия. 
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Введение 


Отслеживание объектов в видеопотоке (трекинг) — определение их распо- 
ложения на каждом кадре в видеопотоке. Для систем реального времени необходимо 
локализовать объект, имея информацию о расположении на предыдущем кадре. 
Трекинг нашел применение в системах видеонаблюдения для автоматизации 
распознавания тревожных ситуаций, в системах видеоаналитики для управления 
бизнес-процессами, в системах распознавания целевых объектов, в интеллек- 
туальных робототехнических системах [1, 2]. К настоящему времени разработано 
множество методов и подходов для решения данной задачи. Актуальность решения 
задачи трекинга не падает: с развитием методов распознавания зрительных образов 
для её решения применяются все более новые методики. 
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В данной работе предложено решение задачи выделения и отслеживания 
объектов в видеоряде с неподвижным фоном на основе анализа движения в кадре и 
представления изображения и объектов как множества структурных элементов. 
Описание объектов имеет двухуровневую иерархию, что позволяет гибко 
адаптировать его при изменении объекта. Аддитивное описание-дескриптор объекта 
в виде множества структурных элементов позволяет осуществлять трекинг в 
условиях частичного перекрытия. 

Один из наиболее ранних методов трекинга использует вычитание фона из 
изображений видеоряда [3-5]. В результате данной процедуры выделяются области, 
соответствующие объектам. Для каждой области формируется дескриптор, который 
используется для сравнения с областями на предыдущем кадре, что позволяет 
провести идентификацию объектов на текущем кадре. К положительным качествам 
данного подхода относятся относительная простота и высокая скорость работы. Но 
его применение требует хорошей отделимости объектов от фона и минимального 
количества перекрытий между объектами. 

В работе [6] для трекинга объектов используется анализ межкадрового изменения в 
области, занимаемой объектом, и сопоставление областей для локализации объекта на 
следующем кадре. В работах [7, 8] для определения положения объекта на следующем 
кадре используется корреляционный подход. Для этого формируется адаптивный 
шаблон, который подстраивается под изменения объекта. Но при постоянных изменениях 
объектов наблюдается дрейф — сползание отслеживаемой области с объекта. 

В работе [9] для локализации объекта используется обобщенное преобра- 
зование Хафа. Данный метод устойчив к изменению объекта, но требует хорошей 
отделимости объекта от фона. 

В работах [10-13] используется трекинг с помощью детектирования. В режиме 
реального времени осуществляется обучение детектора для целевого объекта. При 
изменении объекта детектор дообучается, что позволяет удерживать объект 
продолжительное время при различных его изменениях, находить его после потери 
(исчезновения объекта в кадре). Данные методы нуждаются в сторонней 
инициализации объекта с минимальным захватом фона. 

В данной работе предложен метод трекинга объектов, основанный на исполь- 
зовании представления изображений и объектов как множества отдельных структур- 
ных элементов. Данный подход позволяет детектировать и отслеживать объекты на 
основе анализа движения структурных элементов, формировать описания объектов, 
которые позволяют стабильно их удерживать в разнообразных условиях. 


Структурные элементы изображений 


Изображение / рассматривается как множество структурных элементов Р — 


1 
1={р;}. Видеопоследовательность — это последовательность статических 
изображений. Два последовательных изображения видеоряда отличаются слабо 
вследствие небольшой разности во времени, расположении камеры и объектов при 


их получении. Соответственно, видеопоследовательность У — это множество 
структурных элементов 

Г=И,} =ЧУ рр, =Г,} , 
где /- номер кадра. Для каждого Р; заданы их наличие ЫР,, Л) и положение 


1 


Г(р,, Л) для каждого кадра ’/видео последовательности. 
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Отдельным объектам соответствуют подмножества отдельных структурных 
элементов (ОСЭ). При движении объекта в кадре их взаимное расположение 
меняется слабо, по крайней мере, для близко расположенных ОСЭ. Как следствие — 
для соседних ОСЭ одного объекта межкадровое смещение 

5(рьЛ=Р(Ф,Л-Р(рь/-П 
будет примерно совпадать. Таким образом, отдельным объектам в кадре 
соответствуют подмножества структурных элементов, для каждого из которых 
выполняется условие совпадения межкадрового смещения для соседей 


5(рьЛ=5(рьЛ:(ФьроеМ,, (1) 


где №, — множество всех пар ОСЭ, которые являются соседними друг другу на 7-ом 


кадре. Разумеется, если два объекта в кадре находятся рядом и одинаково смещаются, 
то они будут отслеживаться как один объект до тех пор, пока они не разойдутся. Однако 
при сближении разных объектов их слияние происходить не должно. 

В данной работе в качестве отдельных структурных элементов были использованы 
фрагменты (отдельные области) изображений заданного размера. Были использованы 
квадратные области со сторонами 8-24 пикселей. Межкадровое смещение определялось с 
помощью корреляции. Поиск соответствующего фрагмента на текущем кадре проводился 
в заданной окрестности расположения структурного элемента на предыдущем кадре. 
Искомый фрагмент определяется из условия максимального значения корреляции. Если 
максимальное значение корреляции меньше заданного порога — структурный элемент 
считается утерянным и удаляется из дальнейшего рассмотрения. 

Предложенный подход не ограничивает природу отдельных структурных 
элементов — предполагается, что также можно использовать локальные особенности или 
ключевые точки, выделенные с помощью детекторов, которых в последнее время было 
разработано достаточно большое количество. 

Для определения межкадрового смещения, для отдельных ОСЭ, доступны разные 
способы, которые можно разделить на три типа: 

- детектирование; 

- поиск смещения по типу оптического потока; 

- выделение структурных элементов на текущем кадре с последующим поиском 
соответствия между ОСЭ текущего и предыдущего кадров (точечный фильтр). 

Наилучших результатов, видимо, удастся достичь, используя комбинацию способов 
разных типов. 

Таким образом, множество структурных элементов, в данном случае, 
представляет собой «облако» небольших квадратов, каждый из которых отдельно от 
других «блуждает» в области кадра вслед за движущимися объектами. Порождаются 
данные структурные элементы на основе детектирования движения в кадре. 


Выделение движения 


Для детектирования движения используется абсолютная разность двух 
последовательных кадров (текущего и предыдущего). 

С помощью пороговой сегментации из данной разности формируется бинарное 
изображение, являющееся маской движения. Ненулевые пиксели данной маски 
соответствуют областям движения в кадре. 

Кадр разбит на не пересекающиеся квадратные области такого же размера, как 
и структурные элементы. Если количество ненулевых пикселей маски движения в 
отдельной ячейке данной индикаторной сетки болыше заданного значения для 
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данной области производится поиск межкадрового смещения. Если смещение 
достаточно велико, то порождается новый отдельный структурный элемент, 
положение которого на текущем кадре совпадает с соответствующей ячейкой 
индикаторной сетки. Для того чтобы избежать неконтролируемого роста количества 
ОСЭ, налагается ограничение на плотность отдельных структурных элементов в 
ячейке сетки. Если данная плотность выше заданного порога, то новый ОСЭ не 
порождается. Межкадровое смещение для каждого ОСЭ определяется на основе 
использования корреляции. 


Сегментация движения 


При движении объекта в кадре все его части смещаются согласованно. Даже 
если отдельные его части описывают разные траектории (например, при ходьбе у 
человека руки и ноги двигаются относительно туловища), близко расположенные 
точки смещаются от кадра к кадру примерно одинаково, иначе нарушается 
целостность объекта. Таким образом, отдельному объекту на изображении 
соответствует подмножество структурных элементов изображения, для каждой пары 
соседей из которого выполняется условие подобия межкадрового смещения. 

Из этого следует, что для выделения отдельного объекта на основе 
использования множества структурных элементов и их межкадрового смещения 
необходимо выделить подмножества ОСЭ, согласно условию (Т). Данные 
подмножества не являются классами эквивалентности, поскольку условие 
транзитивности для подобия соседних ОСЭ в общем случае не выполняется. Эта 
процедура не является достаточной для выделения отдельных объектов, поскольку 
возможен случай, когда разные объекты при движении находятся рядом. Для их 
разделения необходимо применение дополнительных методов из области 
детектирования и распознавания объектов на изображении. 

В данной работе для поиска данных подмножеств ОСЭ используется метод 
степного пожара. В простейшем случае межкадровое смещение двух соседних 
структурных элементов считается подобным, если модуль их разности меньше 
порога й 

в(рьЛ-5(рь <: (РЬРОЕМ,. (2) 

Однако результаты выделения движущихся объектов при использовании 
данного условия являются неудовлетворительными: при медленном движении 
объектов они сливаются с фоном. 

Для более качественного результата выделения движущихся объектов условие 
(1) было модифицировано. В данной работе для определения подобия межкадрового 
смещения для двух соседних ОСЭ используется адаптивный порог, который 
вычисляется отдельно для каждого ОСЭ. Для каждого ОСЭ порог формируется на 
основе среднего отклонения по соседям, среднеквадратических отклонений модуля 
межкадрового смещения и его значений х и у. Межкадровые смещения двух 
соседних ОСЭ считаются подобными, если выполняется условие 


Ла, лу Л Лу Ла Лу ЛОУ Л.И у Л,ОИ, 


где 
Л = (рьл-(@Хрь < (рь р-р: Фь вое М,, 
У 7) = 


хр рь < (р, Л-хыФь ФЬРОЕМ,, 
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Л (а, Л) — (р -УФь Л < (ы-ь :(Рьр)Е М,, 
5(р, Л) — межкадровое смещение для структурного элемента Р на 7-том кадре, 
(5 (р, и средний по соседним вектор смещения структурного элемента Р на ы а 


том кадре, №, У; — компоненты вектора 5. 
Формирование описания объектов трекинга 


Описание объекта строится на основе использования множества структурных 
элементов, координаты которых от кадра кадру изменяются. От кадра к кадру также 
изменяется множество ОСЭ, которое соответствует отдельному объекту, вследствие 
удаления и рождения части ОСЭ. 

Несмотря на то, что соседние точки объекта смещаются похоже, характер 
движения его разных частей может отличаться. Это приводит к разбиению 
множества ОСЭ отдельного объекта, на подмножества, каждому из которых 
соответствует часть (сегмент) объекта. Характер движения каждого из данных 
сегментов отличается от соседних. Таким образом, описание объекта представляет 
собой множество сегментов, каждый из которых представлен множеством ОСЭ. 

О,()={5:}=ЦИр:ре 511} , 
где О+ (Л) - описание К -ого объекта на / -том кадре, 51 — сегмент, принадлежащий 
О (Л, Р - структурный объект. 

Несмотря на разный характер движения, сегменты одного объекта от кадра к 
кадру остаются соседями. Данное постоянство позволяет выделять сегменты, 
относящиеся к одному объекту, как связное подмножество множества ОСЭ. 


Формирование описания объектов на /Л-том кадре производится таким 
образом, чтобы выполнялось условие 


—Зр:ре5”' ЕО, (1-1, рЕ5’ ЕО, (ЛК #т. 


Таким образом, отслеживание К -ого объекта от кадра /-! к кадру / сводится 


к формированию описания О: (7) на основе описания Ок(7-Ю и сегментации 
В 


Эксперимент 


Для проверки качества трекинга предложенного метода (наличие/отсутствие 
дрейфа, стабильное удержание объекта при его изменениях и движении, влияние 
фона) были использованы видеоролики, снятые в помещении с постоянным 
освещением. Кадры при обработке масштабировались так, чтобы ширина составляла 
480 пикселей. Оценка качества проводилась визуально. 

Эксперимент показал, объект удерживается стабильно долгое время вне зави- 
симости от его движения и изменений. Выделение (детектирование) движущихся 
объектов производится довольно качественно — некоторые объекты, имеющие низко 
текстурированные области, могут детектироваться как два близких объекта. 

При перекрытии объектов возможно слияние и потеря одного из объектов. 
Анализ данного явления показал, что причиной, наиболее вероятно, является 
несовершенство процедуры сегментации по движению. 
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Заключение 


В данной работе предложено решение задачи выделения и отслеживания 
объектов в видеоряде с неподвижным фоном на основе анализа движения в кадре и 
представления изображения и объектов как множества структурных элементов. Для 
этого видеоряд рассматривается как множество отдельных структурных элементов, 
для каждого из которых определены положение и наличие на каждом кадре. 

Разработана методика детектирования объектов на основе анализа 
межкадрового смещения отдельных структурных элементов. Данная методика 
позволяет сегментировать изображение видеоряда на области с различным 
характером движения без использования информации о фоне. 

Разработана методика формирования иерархического описания объектов. 
Данная иерархия имеет двухуровневую структуру — 1) объект описывается как 
множество сегментов, 2) сегмент описывается как множество отдельных 
структурных элементов. Таким образом, трекинг объектов при используемом 
подходе представляет собой выделение связных областей из структурных единиц 
(сегментов и ОСЭ). 

Экспериментальная оценка качества предложенного метода трекинга объектов 
показала его устойчивость к изменению объекта, стабильное удержание подвижных 
и неподвижных объектов. При перекрытии объектов наблюдается неустойчивая 
работа — слияние объектов, потеря одного из объектов, что, видимо, связано с 
несовершенством процедуры сегментации по движению. 

В данной работе предполагается, что фон является неподвижным, но данный 
подход позволяет отслеживать изменения фона, выделяя его как наибольший 
сегмент (при условии, что площадь объектов меньше, чем фон, что выполняется в 
подавляющем большинстве случаев). 

В дальнейшем планируется усовершенствовать сегментацию, чтобы повысить 
качество трекинга при перекрытиях объектов, провести исследования по приме- 
нению разработанного описания объектов для их детектирования в случае потери. 
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КЕ5ОМЕ 
А.У. АсагКоу 
ОБесЕ даесйоп апд гасКтФ Бу тойоп апа[у$15 
ш 115 рарег \е ргорозе Ше зошНоп ог Фе ргоМет оЁ даесйоп ап4 тасКте 

оБ]ес{5 ш а у14ео уу а “айс БасКотоипа, Базе оп тоНоп апа1уз1$, Натез ап4 обес 
ргезепип» аз зеё оЁ згасвага| еетепт. Еог 15 у1ео 15 зееп а$ а 5её ог шагаиа1 
зёгасфига| е]етеп5, еасп оЁ \уН1сь 15 4ейпеа Бу е роз1оп ап4 ргезепсе оп еуегу Нате. 

Ц 15 деуеюре4 Ше 1есбтаие ог деесипе обес Бу апау7тше пщегйате Чзр!асетете 
шаглаца] з6гасвага! @етет5. ТЬ1$ {есбтаие аПо\уз 0 зеотепе Ше ппасе оЁ Фе у14ео зеапепсе 
ш® ге2топ$ улей ЧШегите тоуетепт у ой Фе изе оРфасКотоии шЮппабоп. 

Е 15 деуеюре4 Ше тефо4 о{ опие а Шегагсшса| дезсирНоп оЁ ве обес. ТЬ$ 
Ыегагсну Ваз а Р\о-Нег засваге - 1) Фе оБ]есё 1$ 4езстеЧ аз а зе{ оЁ зеотепк, 2) 


34 ОА.В. Агарков 


Т55М 1561-5359. Штучний 1штелект, 2015, № 1-2 


зертеп 1$ Чезсте4 а$ а зе{ оЁ пату14а1 згасага| е]етеп5. Тиз, е тасКте оЁ об] ес 
ш Ше изе4 арргоась 1$ а з@есНоп оЁ соппес{е4 агеаз оЁ Фе знасга| ипи5 (зеоттеп апа 
шагу ча| угасфига| еетеп5). 

Ехрегипегиа| еуаваноп оЁ Фе диаШу оЁ Ще ргорозе4 тешо4 оЁ обес гасКте 
зво\ме4 15 гезл${апсе ю сВапее ш Фе обБ]есф, 5аЫе геепйоп оЁ тоуше ап4 зайопагу 
оБ]ес{5. Еог осста4е4 об]ес{5 обзегуе4 ипза е Бевау1ог - теготе об]ес, Фе 105$ оЁР опе 
оЁ Ше обес, уШшсн 1$ аррагепЙу 4ае ю Ше ппрегЁесНоп оЁ 1е зестешайоп ргоседиге 
Гог тоуетепе. 


А.В. Агарков 
Выделение и отслеживание объектов на основе использования анализа 
движения 

В данной работе предложено решение задачи выделения и отслеживания 
объектов в видеоряде с неподвижным фоном на основе анализа движения в кадре и 
представления изображения и объектов как множества структурных элементов. Для 
этого видеоряд рассматривается как множество отдельных структурных элементов, 
для каждого из которых определены положение и наличие на каждом кадре. 

Разработана методика детектирования объектов на основе анализа 
межкадрового смещения отдельных структурных элементов. Данная методика 
позволяет сегментировать изображение видеоряда на области с различным 
характером движения без использования информации о фоне. 

Разработана методика формирования иерархического описания объектов. Данная 
иерархия имеет двухуровневую структуру — 1) объект описывается как множество 
сегментов, 2) сегмент описывается как множество отдельных структурных элементов. 
Таким образом, трекинг объектов при используемом подходе представляет собой 
выделение связных областей из структурных единиц (сегментов и ОСЭ). 

Экспериментальная оценка качества предложенного метода трекинга объектов 
показала его устойчивость к изменению объекта, стабильное удержание подвижных 
и неподвижных объектов. При перекрытии объектов наблюдается неустойчивая 
работа - слияние объектов, потеря одного из объектов, что, видимо, связано с 
несовершенством процедуры сегментации по движению. 
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